Real PMIDs, Wrong Papers: Harness Design for Biomedical Claim-Verification Agents
真实 PMID，错误论文：生物医学声明验证代理的 Harness 设计
🧭 Agent 检索 harness 设计与瓶颈分析
Independent Researcher
对照实验表明检索而非推理是医疗文献验证代理的瓶颈，自写查询代理提升召回但预算利用不足
📌 工作参考价值（4 点）
- 在需要检索工具的 LLM 应用（如电商导购、客服问答、商品知识库问答）中，直接用用户原始 query 做单次检索往往不可靠，应让模型自己改写/生成多个查询，或采用 ReAct 式迭代检索，能显著提升召回和最终答案质量。
- 检索质量通常是整体效果的瓶颈，而不是推理能力：即便给予黄金文档，模型准确率仍有较大提升空间，因此应优先投入优化检索/召回环节，而非只调大模型推理。
- 对返回结果进行“存在性检查”不够，必须做相关性校验：模型可能吐出真实存在的商品 ID 或文档 ID，但与问题无关，应增加一个独立的 LLM judge 或相关性过滤步骤。
- 让 agent 具备搜索预算意识：实验发现 agent 只使用了不到一半的搜索预算，可设计显式的预算消耗策略（如强制步数、每次搜索的查询数量限制）以充分探索检索空间。